Rogers sinh ngày 23 tháng 6 năm 1913, tại Norfolk, tiểu bang New York, Hoa Kỳ. Sau khi mẹ mất sớm, cậu bé được ông bà nuôi nấng trong những năm niên thiếu ở Canton, New York.

Ông đã theo học Đại học Colgate, và đã khởi xướng Hội huynh đệ Sigma Chi. Sau đó, ông đã theo học trường luật Đại học Cornell. Ông đã nhận bằng luật và vượt qua kỳ thi Hội luật sư New York vào năm 1937. Ông đã kết hôn cùng Adele Langston Rogers (15 tháng 8 năm 1911 - ngày 27 tháng 5 năm 2001). Họ đã có bốn đứa con, Dale R. Marshall, Douglas L. Rogers, Anthony W. Rogers và Jeffrey L. Rogers.